核心原则
上下文是有限资源,为什么只放最小高信号信息、怎么找到 right altitude
核心要点:
- 上下文是有限资源,token 越多注意力越分散
- 目标是最小高信号 token 集
- right altitude:指令不死板也不模糊
- 工具集要精简、不重叠
- just-in-time 按需加载,不预载全量
上下文工程和 prompt 工程是一回事吗?
核心问题:为什么从"写好 prompt"升级成"工程化管理 context"?
上下文工程是 prompt 工程的演进:管的不再是一段措辞,而是进入窗口的全部 token[1]。Anthropic 把它定义为"在推理过程中策划最优 token 集合的策略集",覆盖系统提示、工具定义、消息历史、检索结果等一切占用上下文的内容。
这一转变的动因是 agent 的多轮、长任务特性:单轮 prompt 优化解决不了"几十轮交互后上下文塞满、模型走神"的问题。下面六条原则是 Anthropic 给出的工程化指引。
为什么上下文是"有限资源"?
核心问题:上下文窗口有 200K token,为什么还要省着用?
Transformer 的 n² 注意力让 token 越多、注意力预算越分散,精度随长度平缓下降[1]。这不是到某个长度突然失效的硬悬崖,而是一条性能梯度——上下文越长,信息检索和长程推理越吃力。
由此引出第一条操作原则:追求最小高信号 token 集。目标不是"短",而是"无冗余"——找到能最大化目标结果概率的最小 token 集合。具体的退化机制(U 形曲线、context rot)和布局对策见 04-窗口内信息组织。
什么是 right altitude?
核心问题:指令写得越详细越好,还是越灵活越好?
right altitude 指指令的粒度要恰好:既不过度死板,也不过度模糊[1]。两端都失败:
- 过度死板:硬编码每个分支,逻辑脆弱、难维护,遇到没覆盖的情况就崩。
- 过度模糊:只给高层目标缺具体信号,模型无从下手。
对比:同一个"处理退款"指令——
- 过度死板:"若金额<100 且 7 天内则 A;若金额≥100 则走 B;若…" 列穷举分支,漏一种就崩。
- 过度模糊:"妥善处理退款" ——模型不知道边界在哪。
- right altitude: "按退款政策处理,金额或时限有疑义时先确认" ——给原则 + 升级路径,留判断空间。
Anthropic 给的实操方法是"从最小提示 + 最强模型开始,按观察到的失败模式迭代加信号"。这条原则可借鉴:先给原则而非固化流程,让模型保留自主规划空间,失败了再补具体约束。
工具集该怎么控制?
核心问题:给 agent 多备几个工具,是不是更能干?
工具要精简、功能不重叠、返回值 token 高效[2]。判断标准很直接:人类工程师都说不清该用哪个工具时,模型也判断不了。
- 不重叠:功能交叉的工具让模型在选择上浪费推理。
- 返回高效:用语义标识替代 UUID、默认截断长输出、暴露 concise/detailed 参数让模型按需取详。
Anthropic 把工具定义视为与 prompt 同等的工程对象。工具协议层面(MCP、设计原则)属另一个子章节 05-工具系统与 MCP,本文只强调"工具数量与返回值也是上下文成本"。
示例和检索数据怎么放?
核心问题:few-shot 示例越多越好吗?要不要把资料全塞进去?
示例要策划而非穷举,数据要 just-in-time 加载而非预载全量[1]。两条原则共享同一逻辑:上下文里每个 token 都有注意力成本。
- 示例策划:精选少量多样的典范示例,而非堆砌 edge case。Anthropic 的说法是"示例是给 LLM 的图片"——传达模式比穷举规则有效。
- just-in-time:维护轻量标识符(文件路径、查询句),按需动态加载内容,而非把全量数据预先塞进上下文。最优常是混合策略:少量预载 + 模型自主探索取详。
可借鉴的统一判断:默认不放,需要时再拉——无论示例还是数据,先问"这个 token 现在必须在窗口里吗"。
Takeaway
| 知识点 | 核心结论 |
|---|---|
| 上下文工程 | 管进入窗口的全部 token,不只是一段 prompt |
| 有限资源 | n² 注意力使精度随长度平缓下降,求最小高信号集 |
| right altitude | 指令不死板不模糊;先给原则,失败再补约束 |
| 工具集 | 精简、不重叠、返回值 token 高效 |
| 示例与数据 | 策划少量典范 + just-in-time 按需加载 |
参考资料
- Anthropic. Effective context engineering for AI agents. 2025. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
- Anthropic. Writing effective tools for agents — with agents. 2025. https://www.anthropic.com/engineering/writing-tools-for-agents
延伸阅读
- 04-窗口内信息组织 — "有限资源"原则背后的退化机制与布局对策
- 03-系统提示词工程 — right altitude 在 system prompt 上的落地